Sau khi Đức xâm lược Liên Xô vào tháng 6 năm 1941, Shcherbytsky được huy động vào hàng ngũ của Hồng quân. Vì tốt nghiệp chuyên ngành thiết bị và máy móc hóa học, ông được cử đi học ngắn hạn tại Học viện Quân sự Phòng hóa mang tên Voroshilov, cơ quan này đã sơ tán từ Moskva đến Samarkand tại CHXHCNXV Uzbekistan. Sau khi tốt nghiệp, Shcherbytsky được bổ nhiệm làm trưởng đơn vị hóa học thuộc Trung đoàn Bộ binh 34 thuộc Sư đoàn Bộ binh 473 của Phương diện quân Ngoại Kavkaz. Vào tháng 11 năm 1941, sư đoàn được thành lập tại các thành phố Baku và Sumgayit tại CHXHCNXV Azerbaijan. Vào ngày 8 tháng 1 năm 1942, sư đoàn này được đổi tên thành Sư đoàn bộ binh 75, và vào tháng 4 cùng năm thì Shcherbytsky cùng sư đoàn tham gia cuộc xâm lược Iran của Anh-Xô. Cùng năm đó, ông phục vụ trong một lữ đoàn xe tăng.[2][3]

Vào tháng 3 năm 1943, Shcherbytsky được chuyển đến cục hóa học tại sở chỉ huy của Phương diện quân Ngoại Kavkaz, ông phục vụ tại đây cho đến khi chiến tranh kết thúc. Vào tháng 8 năm 1945, Phương diện quân Ngoại Kavkaz được tổ chức lại thành Quân khu Tbilisi và nhiệm vụ quân sự cuối cùng của Shcherbytsky là trợ lý trưởng của cục hóa học của sở chỉ huy quân khu về huấn luyện chiến đấu. Tháng 12 năm 1945, ông xuất ngũ với cấp bậc đại úy.[2][3]